Presto Performance Metrics সংগ্রহ করা

Presto ক্লাস্টারের কার্যক্ষমতা ট্র্যাক করা এবং পর্যালোচনা করার জন্য Performance Metrics সংগ্রহ করা অত্যন্ত গুরুত্বপূর্ণ। এটি কোয়েরি পারফরম্যান্স, সিস্টেম রিসোর্স ব্যবহার, এবং সিস্টেমের অবস্থা সম্পর্কে মূল্যবান তথ্য সরবরাহ করে, যা দ্রুত সমস্যার সমাধান এবং অপটিমাইজেশনে সাহায্য করে।

Presto-এর পারফরম্যান্স মেট্রিক্স সংগ্রহের জন্য কিছু গুরুত্বপূর্ণ কৌশল এবং সরঞ্জাম এখানে আলোচনা করা হলো।

১. Presto এর মেট্রিক্স এবং লগের ধরন

Presto বিভিন্ন ধরনের মেট্রিক্স প্রদান করে, যেমন:

1. Query Metrics:
   • Query Duration: কোয়েরি চলতে কত সময় লেগেছে।
   • Query State: কোয়েরি সফলভাবে সম্পন্ন হয়েছে, অথবা ব্যর্থ হয়েছে।
   • Rows Processed: কোয়েরি চলাকালীন কতগুলো রেকর্ড প্রক্রিয়া হয়েছে।
   • Query Throughput: প্রতি সেকেন্ডে কোয়েরি কত রেকর্ড প্রক্রিয়া করছে।
2. Resource Metrics:
   • CPU Usage: Presto-তে CPU এর ব্যবহারের পরিমাণ।
   • Memory Usage: মেমরি ব্যবহারের পরিমাণ, যেমন query.max-memory এবং query.max-memory-per-node এর সীমা।
   • Disk I/O: ডিস্কের ইনপুট/আউটপুট কার্যকলাপ।
3. Worker Metrics:
   • Task Execution Time: প্রতিটি Worker Node এর দ্বারা সম্পাদিত কাজের সময়।
   • Task Queue Size: Worker Node-এ রান করা কোয়েরির কাজের সারি।
4. Cluster Metrics:
   • Number of Workers: বর্তমানে ব্যবহৃত Worker Nodes এর সংখ্যা।
   • Coordinator Health: Coordinator Node এর অবস্থা এবং এর সাথে যুক্ত নোডের সংখ্যা।

২. Presto Performance Metrics সংগ্রহের কৌশল

Prometheus এবং Grafana ব্যবহার করা

Prometheus একটি জনপ্রিয় ওপেন-সোর্স মেট্রিক্স সিস্টেম, যা Presto থেকে মেট্রিক্স সংগ্রহ করতে সাহায্য করে। Grafana একটি শক্তিশালী ড্যাশবোর্ড টুল যা Prometheus এর সাথে সংযুক্ত হয়ে এই মেট্রিক্স ভিজুয়ালাইজ করতে সহায়ক।

ধাপ ১: Presto Metrics সংগ্রহের জন্য Prometheus সেটআপ

1. Prometheus সার্ভার ইনস্টল করুন:

   • Prometheus সার্ভার ইনস্টল করতে নিচের কমান্ড ব্যবহার করুন:

   sudo apt-get install prometheus
   Copy

2. Presto Metrics এক্সপোজ করা: Presto ক্লাস্টারে Prometheus থেকে মেট্রিক্স সংগ্রহ করার জন্য, etc/config.properties ফাইলে নিম্নলিখিত কনফিগারেশন যোগ করুন:

   metrics.statsd.enabled=true
   metrics.statsd.host=<Prometheus-server-host>
   metrics.statsd.port=8125
   

3. Prometheus Exporter যোগ করা: Presto সার্ভার থেকে মেট্রিক্স সংগ্রহ করতে Presto Prometheus Exporter ব্যবহার করুন:

   • Presto এর মধ্যে presto-jmx-exporter ইনস্টল করুন:

     wget https://repo1.maven.org/maven2/io/prestosql/presto-jmx-exporter/0.1.0/presto-jmx-exporter-0.1.0.jar
     Copy

4. Prometheus Config Update:

   • Prometheus কে Presto থেকে মেট্রিক্স সংগ্রহ করতে কনফিগার করুন:

   scrape_configs:
     - job_name: 'presto'
       static_configs:
         - targets: ['<presto-coordinator-node>:8080']
   Copy

5. Prometheus থেকে মেট্রিক্স সংগ্রহ করা:
   • Prometheus সার্ভার এখন Presto থেকে মেট্রিক্স সংগ্রহ করবে এবং তা Grafana ড্যাশবোর্ডে পাঠাবে।

ধাপ ২: Grafana ড্যাশবোর্ড তৈরি

1. Grafana ইনস্টল করুন:

   • Grafana ইনস্টল করতে নিচের কমান্ড ব্যবহার করুন:

   sudo apt-get install grafana
   Copy

2. Prometheus ডেটাসোর্স কনফিগারেশন:
   • Grafana-তে Prometheus কে ডেটাসোর্স হিসেবে কনফিগার করুন।
   • Grafana UI তে Configuration > Data Sources থেকে Prometheus নির্বাচন করুন এবং আপনার Prometheus সার্ভারের URL দিন।
3. Presto Metrics ড্যাশবোর্ড তৈরি করুন:
   • Grafana তে একটি নতুন ড্যাশবোর্ড তৈরি করুন এবং Presto সম্পর্কিত মেট্রিক্সের জন্য উইজেট যোগ করুন, যেমন:
     • Query Duration
     • CPU Usage
     • Memory Usage
     • Query Throughput

৩. Presto Monitoring with Predefined Metrics

Presto বিভিন্ন বিল্ট-ইন মেট্রিক্স সংগ্রহ এবং প্রদর্শন করার জন্য কিছু কনফিগারেশন সরবরাহ করে:

Presto Metrics Access

1. Presto Web UI:
   Presto Web UI-তে /ui/metrics পৃষ্ঠায় গিয়ে Presto এর নিজস্ব পারফরম্যান্স মেট্রিক্স দেখতে পারেন।

2. JMX Metrics:
   Presto JMX (Java Management Extensions) ব্যবহার করে আরো বিস্তারিত মেট্রিক্স দেখতে পারবেন। Presto JMX মেট্রিক্স সিস্টেমের বিস্তারিত তথ্য সরবরাহ করে যা আপনার Presto ক্লাস্টারের অবস্থা নিরীক্ষণ করতে সাহায্য করে।

   JMX মেট্রিক্সের জন্য আপনি Prometheus JMX Exporter ব্যবহার করতে পারেন।

৪. Presto Metrics Analysis

1. Query Performance:
   Presto এর Query Duration, Throughput এবং Resource Usage মেট্রিক্সের মাধ্যমে আপনি কোয়েরির কার্যকারিতা বিশ্লেষণ করতে পারেন। যদি একটি কোয়েরি বেশি সময় নেয়, তবে query.max-memory বা query.max-memory-per-node কনফিগারেশন সেট করে আপনি এর মেমরি ব্যবহারের সীমা নির্ধারণ করতে পারেন।
2. Worker Node Performance:
   Worker Node এর CPU এবং Memory Usage মেট্রিক্স ব্যবহার করে আপনি Worker Node গুলির কার্যক্ষমতা বিশ্লেষণ করতে পারেন। Worker Node-এ অতিরিক্ত চাপ বা কম CPU/MEM ব্যবহারের পরিস্থিতি সনাক্ত করে প্রয়োজনীয় অপটিমাইজেশন করতে পারেন।
3. Cluster Load:
   Presto ক্লাস্টারের মধ্যে কোয়েরি লোড ভাগ করা না হলে, একটি নোড অত্যধিক চাপের সম্মুখীন হতে পারে। এই মেট্রিক্সগুলি বিশ্লেষণ করে আপনি লোড ব্যালান্সিং এবং নোড স্কেলিং কৌশল প্রয়োগ করতে পারেন।

৫. Presto Performance Tuning Based on Metrics

1. CPU Optimization:
   CPU Usage বেশি হলে, আপনি Worker Node-এ CPU এর ব্যাবহার বৃদ্ধি করতে পারেন অথবা query.max-worker-threads কনফিগারেশন সেট করে Worker Threads কমাতে পারেন।
2. Memory Optimization:
   Memory Usage অনেক বেশি হলে, আপনি query.max-memory-per-node এবং query.max-memory কনফিগারেশন সেট করে মেমরি ব্যবহারের সীমা নির্ধারণ করতে পারেন।
3. Query Optimization:
   Query Throughput এবং Query Duration এর উপর ভিত্তি করে, কোয়েরির ধরনের উপর নির্ভর করে বিভিন্ন অপটিমাইজেশন কৌশল প্রয়োগ করা যায়। যেমন, predicate pushdown, join optimization, বা partition pruning ব্যবহার করে কোয়েরি এক্সিকিউশনের সময় কমানো যেতে পারে।

উপসংহার

Presto ক্লাস্টারের পারফরম্যান্স মেট্রিক্স সংগ্রহ এবং বিশ্লেষণ করা ডেটা বিশ্লেষণের দক্ষতা বৃদ্ধি করতে সহায়ক। Prometheus এবং Grafana-এর মতো টুলস ব্যবহার করে সহজেই Presto ক্লাস্টারের পারফরম্যান্স পর্যবেক্ষণ করা সম্ভব এবং এর উপর ভিত্তি করে প্রয়োজনীয় অপটিমাইজেশন কৌশল প্রয়োগ করা যেতে পারে।